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NOVELTY At least one camera monitors the dark-light transition point (8) at the edges of the white 
lines (6,7) marking the boundaries of a carriageway lane. An image processing unit using a model 
supported and feature based estimation method (involving a Kalman filter, fuzzy inference machine or a 
neural network) derives state vectors from the measurement targets (9) which describe the vehicle 
position relevant to the lane boundaries on a display (5) 

USE To provide a vehicle driver with a display showing the vehicle position relative to the lane 
boundaries. 

ADVANTAGE At relative little computing cost the course of traffic lane is determined with an adequate 
degree of accuracy. 

DESCRIPTION OF DRAWING(S) The figure shows a schematic representation of an image of a traffic 
lane producesd by the method to the present invention. 
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Die folgendon Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn 

Bei einem Verfahren zur Ermittlung eines Spurverlaufs 
einer beidseitig helle oder dunkle Spurbegrenzungslinien 
(6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus 
einem uber die Fahrbahn (1) fahrenden Fahrzeug (2) lie- 
fert mindestens eine Kamera (3) in bestimmten Zeitinter- 
vallen ein Bild (5) eines vor dem Fahrzeug liegenden Au- 
fcenraums an eine Bildverarbeitungseinrichtung (4). Die 
Bildverarbeitungseinrichtung (4) ermittelt bei den Spur- 
begrenzungslinien (6) in Abhangigkeit von zumindest ei- 
nem Lenkwinkel sowie einer momehtanen Geschwindig- 
keit des Fahrzeugs (2) und einem vorgegebenen Fahr- 
zeuglage- und Spurverlaufsmodell signifikante Hell-Dury 
kel-Grenzen (8) modellgestutzt sowie einen von zwei si- 
gnifikanten Hell-Dunkel-Grenzen (8) begrenzten Linienbe- 
reich zeilenweise. Messkandidaten (9) der Hell-Dunkel- 
Grenzen (8) werden von der Bildverarbeitungseinrichtung 
(4) in jeweils mindestens einem modellgestutzten und 
merkmalsbasierten Zustandsschatzverfahren (10, 15) zu 
Zustandsvektoren verarbeitet, die die Fahrzeuglage und 
den Spurverlauf beschreiben. Eine Inferenzmaschine (13) 
ermittelt aus diesen Zustandsvektoren die Ist-Daten des 
Spurverlaufs und vergleicht, beurteilt und korrigiert ggf. 
das modellgestutzte sowie das merkmalsbasierte Zu- 
standsschatzverfahren (10, 15) anhand der vorgegebenen 
Daten. 
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[0001] Die Erfindung bezieht sich auf ein Verfahren zur 
Ermittlung eines Spurverlaufs einer beidseitig helle oder 
dunkle Spurbegrenzungslinien aufweisenden dunklen bzw. 5 
helleri Fahrbahn aus einem uber die Fahrbahn fahrenden 
Fahrzeug sowie auf eine Vorrichtung zur Durchruhrung die- 
ses Verfahrens. 

[0002] Aus der DE 43 08 776 C2 ist eine Einrichtung zum 
Uberwachen des AuBenraums eines Kraftfahrzeugs, das 10 
liber eine durch ausgedehnte weiBe Linien begrenzte Fahr- 
spur fahrt, bekannt. Die Einrichtung umfasst mehrere Ka- 
meras, die Bilder des FahrzeugauBenraums aufnehmen und 
Bildsignale erzeugen, die diese Bilder anzeigen, und eine 
Bildverarbeitungseinrichtung. Die Bildverarbeitungsein- 15 
richtung ermittclt in Abhangigkeit von den Bildsignalen 
eine Distanzverteilung beziiglich des Fahrzeugs und erzeugt 
ein die Distanzverteilung anzeigendes Distanzbild. Im Wei- 
teren ist eine StraBen- und Objekt-Detektoreinrichtung vor- 
gesehen, die auf der Grundlage des Distanzbildes dreidi- 20 
mensionale Koordinaten in einem auf ein Koordinatensy- 
stem des Kraftfahrzeugs bezogenen realen Raum berechnet. 
Ferner ist eine StraBen verlaufsform-Detektoreinrichtung 
vorgesehen, die eine StraBenverlaufsform auf der Grundlage 
der dreidimensionalen Koordinaten von Abschnitten der 25 
weiBen Linie berechnet. Hierbei werden als Ausgangssi- 
gnale die Fahrzeuggeschwindigkeit und ein Lenkwinkelsen- 
sorsignal sowie ein Erkennungsergebnis einer StraBenform 
einer letzten Zeitspanne zugrundegelegt, um eine StraBen- 
form nach einer bestimmten Zeitspanne abzuschatzen. Bei 30 
diesem Verfahren ermittelt die S txaBenverlaufsform-Detek- 
toreinrichtung mehrere dreidimensionale iineare Elemente, 
die jeweils einen Abschnitt jeder weiBen Linie innerhalb ei- 
ner von mehreren Regionen der StraBe reprasentieren, wo- 
bei die Regionen bezogen auf die Distanz vom Fahrzeug 35 
aufgeteilt sind und jede weiBe Linie durch die Kombination 
der dreidimensionalen linearen Elemente dargesteEt ist. Je- 
des der dreidimensionalen linearen Elemente wird durch Ii- 
neare Gleichungen reprasentiert, die die Projektion des drei- 
dimensionalen Elements auf eine horizontale und eine verti- 40 
kale Ebene reprasentieren. 

[0003] Weiterhin weist die StraBenverlaufsform-Detektor- 
einrichtung eine Abschatzungseinrichtung auf, die in Ab- 
hangigkeit von den Fahrzeugfahrbedingungen die Anderung 
der dreidimensionalen linearen Elemente aus deren voraus- 45 
gehenden Positionen abschatzt. Eine erste Erzeugungsein- 
richtung legt ein erstes dreidimensionales Fenster fest und 
schatzt einen dreidimensionalen Raum um jedes der abge- 
schatzten dreidimensionalen linearen Elemente. Eine Line- 
arelement-Detektoreinrichtung extrahiert aus den dreidi- 50 
mensionalen Koordinaten nur die Koordinaten, die inner- 
halb des ersten dreidimensionalen Fensters liegen und be- 
rechnet die gegenwartige Position des dreidimensionalen li- 
nearen Elements auf der Grundlage der extrahierten Koordi- 
natendaten. 55 
[0004] Die StraBenverlaufsform wird modellbasiert in Ii- 
neare Abschnitte von jeweils einer bestimmten Distanz auf- 
geteilt und die Plausibilitat aus der Parallelitat dieser Ab- 
schnitte in horizontaler und vertikaler Richtung, bezogen 
auf Messergebnisse fur den linken als auch den rechten Ab- 60 
schnitt, beurteilt. Die Messergebnisse und die festgelegten 
linearen Abschnitte werden nach vorgegeben Berechnungs- 
mcthodcn mitcinandcr verglichen und gcwichtct sowie kor- 
rigiert. Mit dieser Einrichtung ist es nach der Verarbeitung 
einer relativ groBen Datenmenge moglich, durch Ausnutzen 65 
dreidimensionaler Positionsinformationen der weiBen Li- 
nien diese von dreidimensionalen Objckten zuverlassig zu 
trennen. 



[0005] Dariiber hinaus ist ein Verfahren zur Abschatzung 
eines Spurverlaufs einer Fahrbahn bekannt (Dissertation 
DipL-Ing. B. Mysliwetz, Universitat der Bundeswehr Mun- 
chen, 10.08.1990), das zur Unterscheidung zwischen einem 
optischen Signal einer weiBen Spurbegrenzungslinie und 
Storungen ein dynamisches Modeli von Fahrzeugquerbewe- 
gungen und einer Spurverlaufsgeometrie verwender. Dieses 
dynamische Modeli ermoglicht eine Formulierung einer Er- 
wartung iiber die Lage und die Orientierung der Spurbe- 
grenzungslinie in einem Videobiid. Hierbei wird eine Kante 
der Spurbegrenzungslinie gezielt in ihrer erwarteten Lage 
im Videobiid mittels signalangepasster Filterkerae gesucht. 
Die erwartete Lage und die Orientierung der Spurbegren- 
zungslinie werden durch physikalische und logische Gro- 
Ben, die den aktuellen Zustand, in dem sich Fahrzeug und 
Spurverlauf befinden, beschrieben. Diese rclevanten GroBen 
werden durch die aktuelle Fahrzeuglage sowie dessen Quer- 
dynamik und Geschwindigkeit und bekannten Daten iiber 
Spurverlaufe und StraBenattribute gewonnen. Der Unter- 
schied zwischen der erwarteten Lage und der gemessenen 
Lage der Spurbegrenzungslinie wird unmittelbar. d. h. ohne 
die perspektivische Abbildung zu invertieren, im Rahmen 
eines Optimalrilters, eines Kalman Filters, auf den erwarte- 
ten Farzeuglage- und Spurverlaufszustand aufgeschlagen. 
Die Messung im Videobiid korrigiert somit lediglieh die 
modellbasierte Erwartung oder eine zu Beginn der Messun- 
gen formulierte Hypothese uber den Anfangsschatzwert. 
Dieses rekursive Verfahren ist ein Spurverfolgungsverfah- 
ren, das auf die Ergebnisse einer sequentiell vorausgehen- 
den Spurentdeckungsphase angewiesen ist. 
[0006] Ferner wurde an der Carnegie Mellon University, 
Pittsburgh, USA, ein Verfahren (RALPH, Rapidly Adapting 
Lateral Position Handler) entwickelt, das die Modeilierung 
von Fahrzeugquerbewegungen und Spurverlaufsgeometrie 
vermeidet, um von der speziellen Ausbildung der Spurver- 
laufsgeometrie sowie der Spurbegrenzungslinie und damit 
auch der Art der jeweils angepassten extxaktionsfahigen 
Merkmale unabhangig zu bleiben. Bei diesem Verfahren 
wird damit aber auch auf die Auswertung der querdynami- 
schen zeitlichen Zusammenhange zwischen aufeinanderfol- 
genden Videobildern verzichtet. Es konzentriert sich ledig- 
lieh auf die Auswertung des jeweiligen Einzelbildes. Wegen 
der Notwendigkeit den Zustand in jedem Videobiid kom- 
plett neu berechnen zu mussen, handelt es sich hierbei pri- 
mar um ein merkmalsbasiertes Spurerkennungsveifahren. 
[0007] Die Praxis zeigte, dass weder das an der Universi- 
tat der Bundeswehr entwickelte Spurverfolgungsverfaliren 
noch das von der Carnegie Mellon University verfolgte 
Spurerkennungsverfahren jeweils in isolierter Anwendung 
in der Lage ist, die komplexe Szene des Fahrzeugumfeldes 
hinsichtlich des Spurverlaufs einer Fahrbahn zufriedenstel- 
lend zu ermitteln. 

[0008] Es ist Aufgabe der Erfindung, ein Verfahren der 
eingangs genannten Art und eine Vorrichtung zu schaffen, 
wobei mit einem relativ geringen Rechenaufv/and einen 
Spurverlauf einer Fahrbahn mit hinreichender Genauigkeit 
ermittelt werden soli. 

[0009] ErfindungsgemaB wird die Aufgabe durch ein Ver- 
fahren zur Ermittlung eines Spurverlaufs einer beidseitig 
helle oder dunkle Spurbegrenzungslinien aufweisenden 
dunklen bzw. hellen Fahrbahn aus einem uber die Fahrbahn 
fahrenden Fahrzeug gelost, bei dem 

- mindestens eine Kamera in bestimmten Zeitinterval- 
len ein Bild eines vor dem Fahrzeug liegenden AuBen- 
raums an eine Bildverarbeitungseinrichtung liefert, 

- die Bildverarbeitungseinrichtung bei den Spurbe- 
grenzungslinien in Abhangigkeit von zumindest einem 
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Lenkwinkel sowie einer momentanen Geschwindigkeit 
des Fahrzeugs und einem vorgegebenen Fahrzeuglage- 
und Spurverlaufsmodell signifikante HeU-Dunkel- 
Grenzen modellgestiitzt sowie einen von zwei signifi- 
kanten Hell-Dunkel-Grenzen begrenzten Linienbe- 5 
reich zeilenweise ermittelt, 

- Messkandidaten der Hell-Dunkel-Grenzen von der 
Bildverarbeitungseinrichtung in jeweils mindestens ei- 
nern modeUgestiitzten und merkmalsbasierten Zu- 
standsschatzverfahren zu Zustandsvektoren verarbeitet 10 
werden, die die Fahrzeuglage und den Spurverlauf be- 
schreiben und 

- eine Inferenzmaschine die Zustandsvektoren und da- 
mit Ist-Daten des Spurverlaufs ermittelt sowie das rno- 
dellgestiitzte und das rnerkmalsbasierte Zustands- 15 
schatzverfahrcn anhand vorgegebencr Daten vergleicht 
und beurteilt. 

[0010] Die Merkmale einer erfindungsgemafien Vorrich- 
tung ergeben sich aus Patentanspruch 11. 20 
[0011] Aufgrund dieses Verfahrensablaufs wird ein Spur- 
verlauf einer Fahrbahn mit einer relativ hohen Genauigkeit 
erniittelt, da in der Bildverarbeitungseinrichtung jedes von 
der Kamera gelieferte Bild nach mehreren Zustandsschatz- 
verfahren, namlich sowohl nach mindestens einem modell- 25 
gestutzten Spurverfolgungsverfahren als auch nach minde- 
stens einem merkmalsbasierten Spurerkennungsverfahren, 
im wesentlichen parallel ausgewertet wird. Diesen Zu- 
standsschatzverfahren liegen Messkandidaten zugrunde, die 
die Bildverarbeitungseinrichtung zum einen anhand von 30 
Kantenmerkmalen, die an den signifikanten Hell-Dunkel- 
Grenzen, die am Ubergang der hellen Spurbegrenzungslinie 
zu dem relativ dunklen Fahrbahnbelag vorliegen und an- 
hand von linienformigen Merkmalen, die durch im wesent- 
lichen gegeniiberliegende Hell-Dunkel-Grenzen definiert 35 
sind, ermittelt. 

[0012] Diese Messkandidaten werden in den Zustands- 
schatzverfahren zu Fahrzeuglage und Spurverlauf beschrei- 
benden Zustandsvektoren verarbeitet, die rechnerinternen 
Reprasentanten des physikalischen Prozesses der Fahrzeug- 40 
querbewegung auf einer beliebig gekriimmten StraBe ent- 
sprechen. Hierzu greift das modellgestutzte Spurverfol- 
gungsverfahren auf Informationen uber Spurgeometrien und 
den Fahrzeugzustand zuriick, wobei das Signal eines Lenk- 
winkelsensors und die aktuelle Fahrzeuggeschwindigkeit le- 45 
dighch Minimalinformationen darstellen. Bei der modeUge- 
stiitzten Ermittlung von Zustandsvektoren konnen beispiels- 
weise ein Schwimmwinkel des Fahrzeugs, also der Winkel 
zwischen der Fahrzeuglangsachse und der Bewegungsrich- 
tung, die Querablage des Fahrzeugs, ein Gierwinkel, also 50 
der Winkel zwischen Fahrzeuglangsachse und Fahrbahntan- 
gente, der in der Ebene der Fahrbahn gemessen wird, sowie 
ein Nickwinkel, also der Winkel zwischen Fahrzeuglangs- 
achse und Fahrbahntangente, gemessenen in der zur Fahr- 
bahn senkrechten Ebene beriicksichtigt werden. Hinsicht- 55 
lich der Spurverlaufsgeometrie werden Attribute, wie Spur- 
krummungen und ihr Anderungsverhaiten sowie unter- 
schiedliche Arten von SpurbegrenzungsUnien, beriicksich- 
tigt. 

[0013] Auf Grundlage dieser Informationen spannt das 60 
modellgestutzte Spurverfolgungsverfahren Suchfenster in 
dem Bereich auf, in dem eine Spurbegrenzungslinie vermu- 
tct wird und sucht nach den signifikanten Heil-Dunkcl- 
Grenzen, die am Ubergang der in der Regel hellen Spurbe- 
grenzungslinie zu dem relativ dunklen Fahrbahnbelag vor- 65 
liegen. Dadurch ist es nicht erforderlich, das gesamte Bild 
auszuwertcn, sondern Icdiglich den Bcrcich, in dem die 
Spurbegrenzungslinie aufgrund der dynamischen Modellie- 
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rung vermutet wird. Dieses modellgestutzte Spurverfol- 
gungsverfahren hat den Vorteil einer relativ zuverlassigen 
Rauschunterdriickung, jedoch auch den Nachteil, dass bei 
zu groGen gemessenen Abweichungen von ModeUvorstel- 
lungen der Rechenprozess divergieren kann und instabil 
wird. Daher lauft als Redundanzverfahren das rnerkmalsba- 
sierte Spurerkennungsverfahren ab, das ein Detektionsver- 
fahren ist und im Wesentlichen eine Bildauswertung vor- 
nimmt. Das Spurerkennungsverfahren liefert auch in relativ 
groBer Entfemung zur Kamera des Fahrzeugs zuveriassigere 
Messkandidaten als das modellgestutzte Verfahren. 
[0014] Die die Ist-Daten des Spurverlaufs ermittelnde In- 
ferenzmaschine vergleicht und beurteilt anhand vorgegebe- 
ner Daten das modellgestutzte und das rnerkmalsbasierte 
Zustandsschatzverfahren und berucksichtigt hierbei die un- 
terschiedlichen Starken und Schwachen der Verfahren. Bei 
einem piotzlichen Spurwechsel oder einer fehlenden Spur- 
begrenzungslinie greift die Inferenzmaschine auf ihre ei- 
gene Daten- und Regelbasis und/oder die Zustandsvektoren 
aus der modeUgestiitzten Ermittlung der Hell-Dunkel 
Grenze der Spurbegrenzungslinie zuriick und greift unter- 
stiitzend in die Bildverarbeitungseinrichtung ein, wobei die 
Inferenzmaschine bidirektional arbeitet. Die Inferenzma- 
schine liefert die ermittelten Ist-Daten des Spurverlaufs an 
sogenannte Fahrzeugassistenzsysteme. Ein solches Fahr- 
zeugassistenzsystem kann beispielsweise die Geschwindig- 
keitsregelung des Fahrzeugs in Abhangigkeit vom Spurver- 
lauf oder von anderen auf der Fahrbahn detektierten Objek- 
ten ubemehmen. Im Weiteren konnen die Ist-Daten zur Ab- 
sicherung eines Spurwechsels verwendet werden, in dem sie 
mit weiteren Erkennungssystemen gekoppelt werden. Die 
von der Inferenzmaschine ermittelten Ist-Daten konnen 
auch als Grundlage zur Schatzung der Fahrbahnkrurnmung 
in einem nicht von der Kamera erfassten Bereich dienen. 
[0015] Um den erforderlichen Rechenaufwand relativ ge- 
ring zu halten, liefern zweckmaBigerweise das modellge- 
stutzte und das rnerkmalsbasierte Zustandsschatzverfahren 
VertrauensmaBe, mit denen die Giite der Zustandsvektoren 
abgeschatzt wird. 

[0016] Bevorzugt liefert die Abweichung des jeweiligen 
Messkandidaten zur erw arte ten Soll-Lage der Fahrbahn im 
Bild ein GiitemaB zur Abschatzung der Giite der jeweiligen 
modeUgestiitzten und merkmalsbasierten Zustandsschatz- 
verfahren. Liefern die modeUgestutzte Ermittlung der Spur- 
begrenzungsUnien und die modeUfreie Ermittlung der Spur- 
begrenzungsUnien jeweils die Fahrzeuglage und den Spur- 
verlauf beschreibende Zustandsvektoren unterschiedUcher 
Giite, greift die Interferenzmaschine auf ihre der Beurtei- 
lung der Messkandidaten zugrundeUegenden Daten zuriick 
und entscheidet uber die weitere Vorgehens weise bei der Ist- 
Datenermittlung. Die Interferenzmaschine kann dann auf 
den einen oder anderen Zustandsvektor zuriickgreifen oder 
aber auch die vorhandenen Zustandsvektoren korrigieren. 
Diese Vorgehensweise der szenenabhangigen Interpretation, 
bei der die Interferenzmaschine ihre Wissensbasis, also ihre 
Daten- und oder Regelbasis nutzt, ist insbesondere dann 
vorteilhaft, wenn die szenenabhangigen Schwachen eines 
Zustandsschatzverfahrens durch das andere Zustandsschatz- 
verfahren ausgegUchen werden konnen. 
[0017] Vorteilhafterweise dienen Zustandsvektoren eines 
Bildes als Grundlage fur die Ermittlung von Messkandida- 
ten eines darauffolgenden Bildes. Da die einzelnen Bilder 
der Kamera in schr kurzen ZcitintcrvaUcn der Bildverarbei- 
tungseinrichtung zur Verfiigung stehen und eine Anderung 
des Spurverlaufs in diesen Zeitintervallen in der Regel nur 
geringfugig ist, dienen die Ist-Daten des Spurerkennungs- 
verfahrens zur Eingrenzung der Suchbcrciche der Spurbe- 
grenzungsUnien, in denen Messkandidaten im aktuellen 



MSDOCID: <DE__1 01 27034A1 _l_> 

i 



DE 101 27 

5 

Bild ermittelt werden. 

[0018] Vorzugsweise wird aus einem erwarteten Messvek- 
tor .und einem ermittelten Messvektor ein Korrekturvektor 
zur Ermittlung eines Zustandsvektors gebildet. Bei diesem 
rekursiven Verfahren werden mit einem Relativ geringen 5 
Rechenaurwand hinreichend genaue Ergebnisse erzielt. 
[0019] ZweckmaBigerweise wird die Ermittlung der Hell- 
Dunkel-Grenze und des Linienbereichs der Spurbegren- 
zungslinien mit einem Optimalfilter vorgenommen. Im wei- 
teren wird ZweckmaBigerweise bei dem modeligestiitzten 10 
Zustandsschatzverfahren ein Kalman Filter, eine Fuzzy-In- 
ferenzmaschine oder ein neuronales Netz verwendet. Das 
Kalman Filter liefert eine vollstandige statistische Charakte- 
risierung fiir das Problem einer Schatzung eines dynami- 
schen Systems und schlieBt neben der Charakterisierung des 15 
aktuellen Wissenszustandcs den Einfluss aller vcrgangcnen 
Informationen mit ein. Das Kalman Filter liefert einen line- 
aren, unverzerrten und Minimum- Varianz rekursiven Algo- 
rithmus, um den Zustand eines dynamischen Systems aus 
fehlerbehafteten (verrauschten) Daten, die in der Echtzeit 20 
gegeben sind, optimal zu schatzen. Die Kalman Filter Theo- 
rie liefert daher ein ausgezeichnetes Werkzeug fiir die Kom- 
bination von BeobachtungsgroBen mit VorhersagegroBen, 
um die darin enthaltenen zufalligen Fehler zu korrigieren. 
[0020] Nach einer vorteilhaften Weiterbildung der Erfln- 25 
dung ermittelt die Bildverarbeitungseinrichtung in einem 
bestimmten Zeilenabstand mehrere Messkandidaten fur jede 
der Spurbegrenzungslinien pro Bild in einer konstanten Vbr- 
ausschauentfemung. Da bei einem vertikal gekriimmten 
Fahrbahnverlauf nicht vertikale Bildkoordinaten sondem 30 
korrespondierende diskrete Vorschauentfernungen, an de- 
nen bildlokal Kantenelemente extrahiert werden, konstant 
sind, wird der zur Bildauswertung erforderliche Rechenauf- 
wand wesentlich verringert und die Notwendigkeit unge- 
nauer numerischer Differentiationen vermieden. Im Zusam- 35 
menhang mit den Daten der Zustandsschatzverfahren wer- 
den die Messkandidaten im Nahbereich, die in gleicher Ent- 
fernung auf der rechten und linken Seite des Bildes extra- 
hiert werden, vorverarbeitet und die Abweichung zwischen 
erwarteter und gemessener Bildposition berechnet. Die der- 40 
art gewonnenen Ergebnisse werden zur Aktualisierung des 
horizontalen und vertikalen Spurverlaufs verwendet. 
[0021] Vorteilhafterweise werden aus der Differenz er- 
warteter und gemessener Vektoren gerade und ungerade An- 
teile berechnet, die in dem modeligestiitzten Zustands- 45 
schatz verfahren zu Zustands vektoren verarbeitet werden. 
Die geraden Anteile liefern im Zusammenhang mit den rele- 
vanten Fahrzeugdaten eine Aussage beziiglich der horizon- 
talen Spurverlaufsschatzung und die ungeraden Anteile lie- 
fern vertikale Lagedaten des Fahrzeugs auf der Fahrbahn. 50 
Somit stehen neben den Messdaten auch daraus resultie- 
rende Anteile aus der Abweichung von den Messdaten zur 
Verfiigung, die zur Berechnung exakter Ergebnisse des mo- 
deligestiitzten Zustandsschatzverfahren dienen. 
[0022] ZweckmaBigerweise liefert eine zweite, nicht un- 55 
bedingt erforderliche Kamera in bestimmten Zeitinterv alien 
ein Bild eines hinter dem Fahrzeug liegenden AuBenraums 
an eine Bildverarbeitungseinrichtung. Durch diese Bilder 
lassen sich genauere Angaben beziiglich einer Spurbreiten- 
anderung der Fahrbahn sowie des Nickwinkels des Fahr- 60 
zeugs errechnen, wobei der Nickwinkel die Darstellung der 
Breite der Spur im Bild beeinflusst. 

[0023] Es verstcht sich, dass die vorstchend genannten 
und nachstehend noch zu erlauternden Merkmale nicht nur 
in der jeweils angegebenen Kombination, sondern auch in 65 
anderen Kombinationen verwendbar sind, ohne den Rah- 
men der vorlicgendcn Erfindung zu vcrlasscn. 
[0024] Die Erfindung wird im folgenden anhand eines 
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Ausfuhrungsbeispieles unter Bezugnahme auf die zugehori- 
gen Zeichnungen naher erlautert. Es zeigen: 
[0025] Fig. 1 ein Ablauf schema eines erfindungsge-ma- 
Ben Verfahrens, 

[0026] Fig. 2 eine schematische Darstellung eines in einer 
Bildverarbeitungseinrichtung nach Fig. 1 bearbeiteten Bil- 
des und 

[0027] Fig. 3 eine weitere schematische Darstellung eines 
in der Bildverarbeitungseinrichtung nach Fig. 1 bearbeiteten 
Bildes. 

[0028] Bei dem erfindungsgemaBen Verfahren zur Ermitt- 
lung eines Spurverlaufs einer Fahrbahn 1 kommt eine Ka- 
mera 2 zum Einsatz, die in einem Fahrzeug 3 montiert und 
mit einer Bildverarbeitungseinrichtung 4 gekoppelt ist. 
[0029] Die Kamera 2 nimmt in bestimmten Zeitinterv alien 
ein Bild 5 vom frontseitigen AuBenraum des Fahrzeugs 3 
auf. Das Bild 5, das in unterschiedlichen verrauschten Grau- 
stufen vorliegt und wahrend der Fahrt des Fahrzeugs 3 liber 
die Fahrbahn 1 aufgenommen wird, wird in der Bildverar- 
beitungseinrichtung 4 ausgewertet. Auf dem Bild 5 sind 
helle Spurbegrenzungslinien 6, 7 zu erkennen, die an ihren 
Kanten signifikante Hell-Dunkel-Grenzen 8 zu der dunklen 
Fahrbahn 1 aufweisen. 

[0030] Die Bildverarbeitungseinrichtung 4 ermittelt mit 
signalangepassten Filtern 12, 14 bei den Spurbegrenzungsli- 
nien 6, 7 Messkandidaten 9 an den signifikanten Hell-Dun- 
kel-Grenzen 8 sowie einen Linienbereich der Spurbegren- 
zungslinien 6, 7, der durch nebeneinanderliegende Mess- 
werte mit entsprechenden Vorzeichen gekennzeichnet ist. 
Die Suche nach dem Linienbereich der Spurbegrenzungsli- 
nien 6, 7 mit dem signalangepassten Filter 14 erfolgt zeilen- 
weise iiber das digitalisierte Bild 5 der Bildverarbeitungs- 
einrichtung 4. Bei der Ermittlung der Hell-Dunkel-Grenzen 

8 wird durch ein modellgestutztes Spurverfolgungsverfah- 
ren 10, also dem einen Zustandsschatzverfahren, im darauf- 
folgenden Bild ein Suchfenster 11 aufgespannt, in dem die 
Messkandidaten 9 mittels des signalangepassten Filters 12, 
das als richtungsselektives Kantenfilter ausgebildet ist er- 
mittelt werden. 

[0031] Diesem modeligestiitzten Spurverfolgungsverfah- 
ren 10 liegen neben relevanten Daten des Fahrzeugs, wie Si- 
gnale eines Lenkwinkelsensors und die aktuelle Fahrzeug- 
geschwindigkeit, auch Daten iiber einen ublichen Spurver- 
lauf zugrunde, die zur Uberprufung der Plausibilitat des ge- 
messenen Zustands dienen. In Abhangigkeit von diesen Da- 
ten und der Fahigkeit zur modeligestiitzten Pradiktion 
spannt die Bildverarbeitungseinrichtung 4 im darauffolgen- 
den Bild das Suchfenster 11 auf, in dem die Messkandidaten 

9 ermittelt werden. Das modellgestiitzte Spurverfolgungs- 
verfahren 10 verarbeitet die Messkandidaten 9 unter Be- 
rucksichtigung von Abweichungen zwischen gemessenen 
Daten im Bild und erwarteten Daten aufgrund des Modell- 
wissens mittels eines Kalman- Filters zu Zustands vektoren. 
Dieses modellgestiitzte Zustandsschatzverfahren 10 ver- 
gleicht die Messkandidaten 9 mit den Ergebnissen, die es 
aufgrund seiner Modellvorstellung erwartet und ermittelt so 
ein KorrekturmaB, das bei der Berechnung derlst-Daten des 
Spurverlaufs entsprechend beriicksichtigt wird. 

[0032] Daruber hinaus ist als weiteres Zustandsschatzver- 
fahren ein modellfreies Spurerkennungs verfahren 15 vorge- 
sehen, das ebenfalls aus dem Messkandidaten 9 Zustands- 
vektoren beziiglich der Fahrzeuglage und des Spurverlaufs 
crrcchnet und mit dem modeligestiitzten Spurverfolgungs- 
verfahren 10 in Wechselwirkung stehen kann. Beide Zu- 
standsschatzverfahren 10, 15 liefern Zustands vektoren zur 
Auswertung an eine Inferenzmaschine 13. 
[0033] Die Inferenzmaschine 13 greift zur Auswertung 
und Beurteilung der Zustandsvektoren auf eine Wissensba- 
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sis 16 mit einer Regelbasis sowie einer Datenbasis zuriick. 
Die Wissensbasis 16 umfasst neben Daten bezuglich des 
Moriientanzustandes des Fahrzeugs auch Daten hinsichtlich 
der Ausgestaltung von unterschiedlichen Spurverlaufen. 
Daruber hinaus koppelt die Inferenzmaschine 13 die beiden 5 
in der Bildverarbeitungseinrichtung 4 ablaufenden Zu- 
standsschatzverfahren 10, 15 zur Erkennung der Hell-Dun- 
kel-Grenzen der Spurbegrenzungslinien 6, 7 derart, dass die 
Starken des einen Verfahrens die Schwachen des anderen 
Verfahrens ausgleicht. Hierdurch wird auch das Spurerken- 10 
nungsverfahren 15 so gesteuert, dass der signalangepasste 
Filter 14 nicht das ganze Bild 5 zeilenweise nach Linienbe- 
reichen absucht, sondern nur in dem Bereich sucht, in dem 
die Wahrscheinlichkeit, die Spurbegrenzungslinien 6, 7 zu 
finden, hinreichend hoch ist. 15 
[0034] Bci einer vertikalcn Krummung der Fahrbahn und 
damit auch der Spurbegrenzungslinien 6, 7, deren Darstel- 
lung in der Bildverarbeitungsvorrichtung 4 als Kurven er- 
folgt, werden die Messkandidaten 9 in variablen Zeilenab- 
standen ij ausgewertet, denen jeweils cine konstante Vor- 20 
ausschauentfernung L<? auf der Fahrbahn 1 zugrunde liegt. 
Die Konstanz der diskreten Vorausschauentfernungen Lo 
auf denen Messkandidaten 9 auf den veranderlichen korre- 
spondierenden Bildzeilen i 2 entnommen werden, vermeidet 
sowohl eine numerische Differentiation der Abbildungsglei- 25 
chungen, die zur Berechnung Kalmanverstarkungskoeffi- 
zienten linearisiert vorliegen miissen als auch die aufwen- 
dige Erstellung korrigierter Abbildungsmatrizen, die in der 
rekursiven Spurverlaufsschatzung in jedem Zyklus erneut 
berechnet werden mussten. 30 

Bezugszeichenliste 

1 Fahrbahn 

2 Karnera 35 

3 Fahrzeug 

4 Bildverarbeitungseinrichtung 

5 Bild 

6 Spurbegrenzungslinie 

7 Spurbegrenzungslinie 40 

8 Hell-Dunkel-Grenze 

9 Messkandidat 

10 modellgestutztes Spurverfolgungsverfahren 

11 Suchfenster 

12 signalangepasstes Filter 45 

13 Inferenzmaschine 

14 signalangepasstes Filter 

15 Spurerkennungsverfahren 

16 Wissensbasis 

50 

Paten tanspriic he 

1. Verfahren zur Errnittlung eines Spurverlaufs einer 
beidseitig helle oder dunkle Spurbegrenzungslinien (6, 
7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus 55 
einem iiber die Fahrbahn (1) fahrenden Fahrzeug (2), 
bei dem 

- mindestens eine Kamera (3) in bestimmten 
Zeitinterv alien ein Bild (5) eines vor dem Fahr- 
zeug liegenden AuGenraurns an eine Bildverarbei- 60 
tungseinrichtung (4) liefert, 

- die Bildverarbeitungseinrichtung (4) bei den 
Spurbegrenzungslinien (6) in Abhangigkcit von 
zumindest einem Lenkwinkel sowie einer mo- 
mentanen Geschwindigkeit des Fahrzeugs (2) und 65 
einem vorgegebenen Fahrzeuglage- und Spurver- 
laufsmodeU signifikantc Hell-Dunkcl-Grcnzen (8) 
modellgestiitzt sowie einen von zwei signifikan- 



ten Hell-Dunkel-Grenzen (8) begrenzten Linien- 
bereich zeilenweise ermittelt, 

- Messkandidaten (9) der Hell-Dunkel-Grenzen 
(8) von der Bildverarbeitungseinrichtung (4) in je- 
weils mindestens einem modellgestutzten und 
merkmalsbasierten Zustandsschatzverfahren (10, 
15) zu Zustandsvektoren verarbeitet werden, die 
die Fahrzeuglage und den Spurverlauf beschrei- 
ben und 

- eine Inferenzmaschine (13) aus Zustandsvekto- 
ren die Ist-Daten des Spurverlaufs ermittelt sowie 
das modellgestutzte und das merkmalsbasierte 
Zustandsschatzverfahren (10, 15) anhand vorge- 
gebener Daten vergleicht, beurteilt und ggf. korri- 
giert. 

2. Verfahren nach Anspruch 1, dadurch gckennzeich- 
net, dass das modellgestutzte und das merkmalsba- 
sierte Zustandsschatzverfahren (10, 15) Vertrauens- 
rnaBe liefern, mit denen die Giite der Zustandsvektoren 
abgeschatzt wird. 

3. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Abweichung des jeweiligen Messkandida- 
ten (9) zur erwarteten Soll-Lage der Fahrbahn (1) im 
Bild,(5) ein GutemaB zur Abschatzung der Giite der je- 
weiligen modellgestutzten und merkmalsbasierten Zu- 
standsschatzverfahren (10, 15) liefert. 

4. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass Zustandsvektoren eines Bildes (5) als Grund- 
lage fur die Errnittlung von Messkandidaten (9) eines 
darauffolgenden Bildes dienen. 

5. Verfahren nach einem der Anspruche 1 bis 3, da- 
durch gekennzeichnet, dass aus einen erwarteten Mess- 
vektor und einem ermittelten Messvektor ein Korrek- 
turvektor zur Errnittlung eines Zustandsvektors gebil- 
det wird. 

6. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Errnittlung der Hell-Dunkel-Grenze (8) 
und des Linienbereichs der Spurbegrenzungslinien (6, 
7) mit einem Optimalfilter (12, 14) vorgenommen 
wird. 

7. Verfahren nach einem der Anspruche 1 bis 5, da- 
durch gekennzeichnet, dass bei dem modellgestutzten 
Zustandsschatzverfahren (10) ein Kalman Filter, eine 
Fuzzy-Inferenzmaschine oder ein neuronales Netz ver- 
wendet wird. 

8. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Bildverarbeitungseinrichtung (4) in einem 
bestimmten Zeilenabstand mehrere Messkandidaten 
(9) fur jede der Spurbegrenzungslinien (6, 7) pro Bild 
(5) in einer konstanten Vorausschauentfernung ermit- 
telt. 

9. Verfahren nach einem der Anspruche 1 bis 8, da- 
durch gekennzeichnet, dass aus der Differenz erwarte- 
ter und gemessener Vektoren gerade und ungerade An- 
teile berechnet werden, die in dem modellgestutzten 
Zustandsschatzverfahren (10) zu Zustandsvektoren 
verarbeitet werden. 

10. Verfahren nach Anspruch 1 , dadurch gekennzeich- 
net, dass eine zweite Kamera in bestimmten Zeitinter- 
vallen ein Bild (5) eines hinter dem Fahrzeug (3) lie- 
genden AuBenraums an eine Bildverarbeitungseinrich- 
tung (4) liefert. 

11. Vorrichtung zur Errnittlung cincs Spurverlaufs ei- 
ner beidseitig helle oder dunkle Spurbegrenzungslinien 
(6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) 
aus einem uber die Fahrbahn (1) fahrenden Fahrzeug 
(2), bestchend aus 

- mindestens einer Kamera (3), die in bestimm- 
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ten Zeitintervallen ein Bild (5) eines vor dem 
Fahrzeug liegenden AuBenraums an eine Bildver- 
arbeitungseinrichtung (4) liefert, 

- einer Bildverarbeitungseinrichtung (4), die in 
Abhangigkeit von zumindest einem Lenkwinkel 5 
sowie einer momentanen Geschwindigkeit des 
Fahrzeugs (2) und einem vorgegebenen Fahrzeug- 
lage- und Spurverlaufsmodell signifikante Hell- 
Dunkel-Grenzen (8) modellgestutzt sowie einen 
von zwei signifikanten Hell-DunkeL-Grenzen (8) 10 
begrenzten Linienbereich zeilenweise ermittelt 
und die Messkandidaten (9) der Hell-Dunkel- 
Grenzen (8) in jeweils mindestens einem modell- 
gestlitzten und merkmalsbasierten Zustands- 
schatzverfahren (10, 15) zu Zustandsvektoren ver- 15 
arbeitet, welche die Fahrzeuglage und den Spur- 
verlauf beschreiben und 

- einer Inferenzmaschine (13), die aus Zustands- 
vektoren die Ist-Daten des Spurverlaufs ermittelt 
sowie das modellgestutzte und das merkmalsba- 20 
sierte Zustandsschatzverfahren (10, 15) anhand 
vorgegebener Daten vergleicht, beurteilt und ggf. 
korrigiert. 
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